Il problema delle hallucination potrebbe rappresentare soltanto una parte del rischio legato all’utilizzo dell’intelligenza artificiale per cercare informazioni sanitarie. Un nuovo studio pubblicato il 16 settembre dal Journal of Medical Internet Research suggerisce infatti che l’utilizzo ripetuto possa modificare anche il modo in cui gli utenti valutano la qualità delle risposte, rendendoli progressivamente meno capaci di distinguere un output corretto da uno inaccurato.
Arif Ahmed e colleghi hanno analizzato il rapporto tra accuratezza, fiducia e “learned dependency” attraverso due esperimenti randomizzati. Nel primo, 338 partecipanti hanno valutato informazioni sanitarie prodotte dall’intelligenza artificiale e presentate insieme alle relative fonti. Alcune risposte erano corrette, altre erano state intenzionalmente rese inaccurate; i ricercatori hanno poi misurato la fiducia attribuita agli output e il grado di dipendenza appresa dal sistema.
In media, i partecipanti attribuivano maggiore fiducia alle informazioni corrette, segno che conservavano una capacità di discriminare la qualità delle risposte. Il dato cambiava però con l’aumento della learned dependency: quanto maggiore era l’abitudine a fare affidamento sull’AI, tanto più si riduceva la differenza nella fiducia accordata alle risposte corrette rispetto a quelle errate. Un secondo esperimento ha confermato la stessa dinamica.
Lo studio introduce così un problema diverso rispetto alla tradizionale misurazione dell’accuracy. Un sistema potrebbe mantenere invariata la propria percentuale di errore mentre, nel tempo, l’utente diventa meno capace di riconoscerlo. Il rischio non nasce quindi soltanto dalla qualità del modello, ma dall’interazione prolungata tra una tecnologia generalmente affidabile e una persona che impara progressivamente a delegarle una parte del proprio giudizio.
“Finora abbiamo guardato quasi esclusivamente alla macchina, misurando hallucination, accuratezza e qualità delle citazioni”, osserva Francesco Maria Avitto, Direttore editoriale Homnya,“Questo lavoro suggerisce che dovremo iniziare a misurare con la stessa attenzione ciò che accade dall’altra parte dello schermo. Un sistema molto affidabile può creare proprio attraverso la sua affidabilità le condizioni perché l’utente abbassi progressivamente il livello di controllo.”
Neppure un intervento semplice come l’evidenziazione grafica delle parti rilevanti del testo ha modificato significativamente il livello di fiducia o ridotto l’effetto della dipendenza. È un elemento che complica ulteriormente la questione, perché suggerisce che il problema difficilmente possa essere risolto con un semplice intervento di interfaccia.
La dinamica richiama il concetto di automation bias, già studiato in numerosi contesti professionali: quando un sistema dimostra ripetutamente di funzionare bene, l’utente tende a ridurre il livello di verifica anche nei casi in cui sarebbe necessario mantenerlo alto. Con i large language model applicati alla salute, questa relazione può diventare particolarmente delicata per la naturale autorevolezza prodotta da risposte fluenti, personalizzate e formulate con grande sicurezza.
L’attenzione alla fiducia potrebbe quindi diventare parte integrante della progettazione dei sistemi sanitari basati sull’AI. Mostrare le fonti, segnalare l’incertezza, distinguere chiaramente tra sintesi e dati primari o prevedere momenti in cui il sistema rinvia esplicitamente al giudizio di un professionista non servirebbe soltanto a ridurre gli errori, ma anche a impedire che l’utente perda progressivamente la capacità di metterli in discussione.
Il problema, insomma, non è più soltanto quanto spesso sbagli l’intelligenza artificiale. È quanto velocemente impariamo a non accorgercene.
